Anne Luttrell sinh ra ở Marylebone, Luân Đôn, là con gái của Simon Luttrell, sau này là Bá tước đầu tiên xứ Carhampton, và Judith Maria Lawes, con gái của Ngài Nicholas Lawes. Anne được rửa tội vào ngày 17 tháng 2 năm 1742 tại St Marylebone, Westminster, Middlesex, Anh.[1] Tuy nhiên một số nguồn khác lại ghi nhận là ngày 24 tháng 1 năm 1743. [2] Em gái và tri kỷ của Anne, Elizabeth, sinh ngày 3 tháng 2 năm 1744 tại Luân Đôn.[2]

Cha của Anne là một thành viên của Hạ viện Anh trước khi được phong làm Nam tước Irnham vào năm 1768, Tử tước Carhampton vào năm 1781 và Bá tước xứ Carhampton vào năm 1785.